En la página vinculada a continuación, encontré la siguiente declaración:
Realice una solicitud simultánea por cada 85–90 MB/s de rendimiento de red deseado. Para saturar una tarjeta de interfaz de red (NIC) de 10 Gb/s, puede usar alrededor de 15 solicitudes simultáneas en conexiones separadas. Puede escalar las solicitudes simultáneas en más conexiones para saturar las NIC más rápidas, como las NIC de 25 Gb/s o 100 Gb/s.
¿Cuál es el origen de estos números? No puedo encontrar ninguna otra documentación que justifique esto. Supongo que esta limitación se refiere más a las limitaciones de NIC en la instancia EC2 en lugar de S3. Aún así, ¿hay alguna otra fuente que explique de dónde provienen estos números?
Para ser claros, esta no es una pregunta sobre cómo optimizar el rendimiento de S3; conozco las alternativas. Esta es una pregunta sobre la propia documentación de AWS S3.
Las únicas personas que podrían responder esto definitivamente son aquellas que están trabajando en las partes internas de S3. Y es casi seguro que están cubiertos por NDA. Entonces, lo que estoy a punto de escribir es una completa especulación.
Sabemos que S3 es distribuido y redundante: cada objeto se almacena en varias unidades físicas, en varias zonas de disponibilidad.
Podemos inferir, del hecho de que S3 está disponible como un servicio en red, que existe algún tipo de interfaz de red entre el volumen S3 y el mundo exterior. Obviamente, sí, pero si esa interfaz de red se limita a 1 Gbit/s, podría lograr un rendimiento sostenido de aproximadamente 85-90 Mbyte/s.
También es importante recordar que AWS utiliza una red definida por software: por lo tanto, si bien el servicio S3 puede tener una interfaz de red que admita 10 Gbit/seg, AWS puede restringir el ancho de banda disponible para cualquier conexión determinada.
Mucho más interesante para mí es esta cita, del mismo enlace:
sugerimos realizar solicitudes simultáneas de rangos de bytes de un objeto con una granularidad de 8 a 16 MB
Esto implica que la redundancia se gestiona a nivel de subobjetos, de modo que un objeto grande se divide en varias piezas de unos 64 MB, y esas piezas se distribuyen individualmente. Así es como HDFS gestiona archivos de gran tamaño , por lo que no es un gran salto.
En cuanto a su suposición de que es un límite de EC2 en lugar de S3, creo que la sugerencia de usar múltiples conexiones lo descarta. Aunque es posible que EC2 limite una sola conexión a 1 Gbit/seg, esperaría que los diseñadores de S3 estén más preocupados por la carga en su sistema. Siempre puede probar eso abriendo una sola conexión entre dos instancias EC2 con redes de gran ancho de banda y ver si está limitada.